• wi/ 1.1 LVU *t w u U 0 U 1 2 

BUNDESREPUBLIK DEUTSCHLAND 



PRIORITY 
DOCUMENT 

.COMPLIANCE WITH RULE 17.1(a) OR (b) 




Prioritatsbescheinigung iiber die Einreichung 
einer Patentanmeldung 



Aktenzeichen: 

Anmeldetag: 

Anmelder/lnhaber: 



103 12 519.1 



20. Marz 2003 



Fraunhofer-Gesellschaft zur F6rderung der ange- 
wandten Forschung eV, 80686 MOnchen/DE 



Bezeichnung: 



Verfahren zum Ausldsen insassenunterstiitzter Mali- 
nahmen in einem Fahrzeug 



IPC: 



G08G 1/16 




A 9161 

08/00 
EDV-L 



Die angehefteten Stiicke sind eine richtige und genaue Wiedergabe der ur- 
sprunglichen Unterlagen dieser Patentanmeldung. 



MDnchen, den 31 . Marz 2004 
Deutsches Patent- und Markenamt 
Der President 

Im Auftrag 





BES1 AVAiLABLE COPY 



Hi-bu 030687de 
20. Marz 2003 



Verfahren zum Auslosen insassenu nterstutzter MaBnahmen 

in einem Fahrzeua 

Die Erfindung betrifft ein Verfahren zum Auslosen insassenunterstutzter MaB- 
nahmen in einem Fahrzeug. 

Mit der Erfindung, deren Hauptmerkmale im Anspruch 1 angegeben sind, wo- 
bei die Merkmale einzelner Weiterbildungen Gegenstand der Unteranspruche 
sind, wird ein Verfahren zum Einsatz in Fahrzeugen zur Bereitstellung einer 
verbesserten Fahrer-Fahrzeug-Schnittstelle durch Auswertung physiologischer 
MaBnahmen vorgeschiagen. 

Das erfindungsgemaBe Verfahren hat unter anderem die Eigenschaft, dass 
Fahrerverhalten ganz allgemein und Fahrer-Reaktionsfehler und Reaktionsver- 
zogerungen im speziellen detektiert und analysiert werden und damit als neu- 
artiges Multipurposefeature fur eine verbesserte Fahrzeugsicherheit einem 
nachfolgenden Sicherheitssystem als Eingabe zur Verfugung stehen. Das Ver- 
fahren kann in einem Fahrzeug unter anderem eingesetzt werden fur 

1. unfallpraventive SicherheitsmaBnahmen wie 

a) automatische Gurtstraffung 

b) Sitzoptimierung 

c) brems/lenkungsvorbereitende Optimierung der Fahrzeugreagibilitat 

d) Voroptimierung der Fahrzeugdynamik bei zeitkritischen Entscheidun- 
gen 

e) alle pradiktiven Sicherheitsvorkehrungen. 

2. Fahrerbasierte Verifikation maschinell erkannter Gefahrensituationen, wie 
z.B. 
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a) Detektion eines kongruenten motorischen Intentionsaufbaus 

b) Situationsmodellierung und Validierung. 

3. Kontinuierliches Vigilanzmonitoring. 

Der Erfindung und ihre Grundlagen sowie Grundzuge werden nachfolgend ein- 
gehender beschrieben. 

Mit der Erfindung wird eine grundsatzlich neue Qualitat von Mensch-Maschine- 
Schnittstellen durch die Kombination hirnphysiologischer Erkenntnisse und al- 
gorithmischer Weiterentwicklungen in der Informationstechnik ermogiicht, in- 
dem das Konzept einer direkten Umsetzung von Hirnsignalen in maschinen- 
bezogene Steuerbefehle in einen Brain-Computer Interface (BCI) als Echtzeit- 
Implementation realisiert wird. Als nicht-invasive und prinzipiell alltagstaugli- 
che Messmethode wird dabei z.B. das Multi-Kanal-EEG mit einer Zeitauflosung 
im Millisekundenbereich verwendet. Der methodische Ansatz beruht auf ro- 
busten Algorithmen des maschinellen Lernens und der Signalverarbeitung zur 
Extraktion, Identifikation und Kiassifikation von EEG-Hirnsignalen, die Intenti- 
onen natiirlicher Bewegungen in psychophysiologisch wohldefinierten Interak- 
tionssituationen zwischen Mensch und Umwelt abbilden. Ein weiteres charak- 
teristisches Merkmal des hier verwendeten BBCI liegt in der Ausrichtung auf 
eine fur den Nutzer optimierte Trainingssituation, bei der im Gegensatz zu an- 
deren BCI-Verfahren nicht mehrere Trainingssessions des Nutzers erforderlich 
sind, sondern lediglich eine einzige ca. zwanzigminutige Trainingsphase als 
Ausgangsmaterial fur den Lemalgorithmus benotigt wird (siehe Blankertz, B., 
Curio, G., Muller, K.-R. (2003), Classifying Single Trial EEG: Towards Brain 
Computer Interfacing, Advances in Neural Information Processing Systems 14, 
eds. T.G. Dietterich, S. Becker and Z. Ghahramani, MIT PRSS: Cambridge, MA, 
157-164; Dornhege, G., Blankertz, B., Curio, G., Muller, K.-R., Combining 
features for BCI, Advances in Neural Information Processing Systems 15, eds. 
S. Becker, S. Thrun and K. Obermayer, MIT Press: Cambridge, MA. (2003)). 
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Fur ein BCI liegen international bislang schon wohldefinierte Anwendungsper- 
spektiven im klinischen Einsatz fur gelahmte Patienten vor, insbesondere z.B. 
bei kompletten Querschnittslahmungen. Mit der Erfindung wird erstmals die 
Moglichkeit aufgezeichnet, bei zeitkritischen Echtzeit-Applikationen, wie sie 
typischerweise z.B. bei Fahrer-Fahrzeug-Schnittstellen gegeben sind, neuartige 
Verfahrensansatze zu realisieren: 

1. In der psychophysiologischen Forschung zur Aufklarung und Anwendung 
von Fahrer-Reaktionsfehlern und -Reaktionsverzogerungen konnen nun 
erstmals, sowohl in virtuellen Fahrsimulationen wie auch in realen Fahr- 
situationen, die motorischen Reaktionsintentionen des Fahrers mit hoher 
Zeitauflosung im Millisekundenbereich als ungemittelte Einzelereignlsse 
erfasst und auf diese Weise in Abhangigkeit vom aktuell variierenden 
perzeptuellen Kontext (multimodale Umgebungsinformationen sowie In- 
strumentensignale) analysiert werden. 

2. Im Einsatz als Fahrerassistenzsystem konnen Konzepte der "Integrierten. 
Sicherheit" um neuartige Komponenten fur eine kontinuierlich ( f on-the- 
fly') fortlaufende Fahrer-Modellierung erweitert werden: 

a) Die als Einzelereignis identifizierbaren EEG-Korrelate von Intentions- 
bildung und spezifischen Bewegungsvorbereitungen konnen aufgrund 
der BBCI-Echtzeitfahigkeit als neuartige Eingangsgrd&e dienen fur 
Konzepte der unfaiipraventiven Sicherheit, bei Automobilen beispiels- 
weise motorische Gurtstraffung, Sitzoptimierung oder Brems-/Len- 
kungs-vorbereitende Optimierung der Fahrzeugreagibilitat. 

b) Daruber hinaus kann eine schnellstmog/iche Fahrer-basierte 'Verifika- 
tion' maschineller (z.B. visueller) Gefahrenerkennung durch Detektion 
eines kongruenten motorischen Intentionsaufbaus des Fahrers erfol- 
gen und eine dementsprechend validierte Situationsmodellierung er- 
moglichen. 

c) Insbesondere konnen zeitkritische Entscheidungsalternativen, wie 
z.B. eine situativ zwingende Auswahl zwischen Notfallbremsung und 



gerichtetem Ausweichmanover, die rechtlich dem Fahrer vorzubehal- 
ten sind, schon Zehntelsekunden vor der elgentlichen Reaktionsbe- 
wegung des Fahrers prognostiziert werden, indem die entsprechen- 
den motorischen Intentionen aus dem EEG-Signal des Fahrers extra- 
hiert und fur Zwecke einer Voroptimierung der Fahrzeugdynamik ge- 
nutzt werden. 

Als additiver Vorteil dieses EEG-basierte BCI-Ansatzes ist das weitergreifende 
multi-purpose feature zu nennen, dass aus den EEG-Daten neben den hier de- 
finierten neuartigen Applikationen schon fruher etablierte Konzepte zum konti- 
nuierlichen Fahrer-Vigilanzmonitoring nahtlos integriert werden konnen. 
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ANSPRUCHE 

1. Verfahren zum Auslosen insassenunterstutzter MaBnahmen in einem 
Fahrzeug, insbesondere.Kraftfahrzeug, bei dem 

physiologische Signale mindestens eines Fahrzeuginsassen, insbeson- 
dere des Fahrers, messtechnlsch erfasst werden, 

anhand der physiologischen Signale die Intention des Fahrzeuginsas- 
sen durch Echtzeitverarbeitung abgeschatzt bzw. ermittelt wird und 
basierend auf der Intention des Fahrzeuginsassen MaBnahmen zum 
Uberfuhren des augenblicklichen Zustandes des Fahrzeuges in einen 
der Intention des Fahrzeuginsassen angepassten Zustand des Fahr- 
zeugs im voraus ausgelost werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die physiologi- 
schen Signale nichtinvasiv ermittelt werden. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich 
bei den physiologischen Signalen um Hirnsignale wie EEG, MEG, NIRS, 
fMRI und/oder um EMG und/oder um BiomessgroBen wie z.B. die Haut- 
leitfahigkeit handelt. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, 
dass die Echtzeitverarbeitung der Messsignale durch Methoden der Sig- 
nalverarbeitung und/oder des maschinellen Lernens erfolgt, die es er- 
moglichen, die Messsignale als Einzelsignale und ohne langwieriges Trai- 
ning des Fahrzeuginsassen auszuwerten. 

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Methoden 
der Signalverarbeitung zur adaptiven Merkmalsextraktion aus den Mess- 
signalen alternativ oder in einer beliebigen Kombination mindestens eines 
der nachfolgenden Merkmale aufweist: 

a) Filterung (raumlich und im Frequenzbereich) und Downsampling, 
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b) Zerlegung bzw. Projektion, 

c) Bestimmung von raumlichen, zeitlichen oder raum-zeitlichen Komple- 
xitatsmaBen, 

d) Bestimmung von KoharenzmaBen (bezogen auf Phase oder Band- 
Energie) zwischen Eingangssignalen. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Filterung 
alternativ oder in einer beliebigen Kombination mindestens eines der 
nachfolgenden Merkmale. aufweist: 

. a) Wavelet und Fourierfilter (short-time), 

b) FIR und IIR Filter, 

c) Laplace und Common Avarage Reference Filter, 

d) Glattungsverfahren. 

7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Zerlegung 
bzw. Projektion alternativ oder in einer beliebigen Kombination mindes- 
tens eines der nachfolgenden Merkmale aufweist: 

a) Independent Component Analyse und Hauptkomponentenanalyse, 

b) Projection Pursuit Technik, 

c) Sparse Decomposition Techniken, 

d) Common Spatial Patterns Techniken, 

e) (Bayessche) sub-space regularization Techniken. 

8. Verfahren nach Anspruch 4 oder einem der vorhergehenden Anspruche, 
soweit auf Anspruch 4 ruckbezogen, dadurch gekennzeichnet, dass die 
Methode des maschinellen Lernens eine Klassifikation und/oder Regressi- 
on umfasst, und zwar unter Einsatz von 

a) kernbasierten linearen und nichtlinearen Lernmaschinen (z.B. Support 
Vector Maschinen, Kern Fisher, Linear Programming Machines), 

b) Diskriminanzanalysen, 

c) neuronalen Netzen, 

d) Entscheidungsbaumen, 



e) allgemein alien linearen und nicht linearen Klassifikationsmethoden 
auf die durch Signalvorverarbeitung gewonnenen Merkmale. 

). Verfahren nach einem der Anspruche 1 bis 8, dadurch gekennzeichnet, 
dass es slch bei den auslosenden MaBnahmen um unfallpraventive Sl- 
cherheitsmaBnahmen wie beispielsweise 

a) automatlsche Gurtstraffung, 

b) Sitzoptimierung, 

c) brems/lenkungsvorbereitende Optimierung der Fahrzeugreagibilitat, 

d) Stabilitatsvorberechnungen, 

e) Voroptimierung der Fahrzeugdynamik bei zeitkritischen Entscheidun- 
gen, 

f) alle pradiktiven Sicherheitsvorkehrungen 
handelt. 

10. Verfahren nach einem der Anspriiche 1 bis 9, dadurch gekennzeichnet, 
dass die anhand der physiologischen Signale ermittelte bzw. abgeschatzte 
Intention der Verifikation maschinell erkannter Gefahrensituationen dient, 
und zwar insbesondere durch Detektion eines kongruenten motorischen 
Intentionsaufbaus und Situationsmodellierung und Validierung. 

11. Verfahren nach einem der Anspruche 1 bis 10, gekennzeichnet durch den 
Einsatz und die Integration in ein kontinuierliches Vigilanzmonitoring. 

12. Verfahren nach einem der Anspruche 1 bis 11, dadurch gekennzeichnet, 
dass die auszulosenden MaBnahmen anhand einer Mittlung der Intentio- 
nen mehrerer Fahrzeuginsassen ergriffen werden. 
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Verfahren zum Auslosen insassenunterstutz ter MaBnahmen 

in einem Fahrzeua 

Bei dem Verfahren zum Auslosen insassenunterstutzter MaBnahmen in einem 
Fahrzeug, insbesondere Kraftfahrzeug, werden physiologische Signale min- 
destens eines Fahrzeuginsassen, insbesondere des Fahrers, messtechnisch 
erfasst. Anhand der physiologischen Signale wird die Intention des Fahrzeugin- 
sassen durch Echtzeitverarbeitung abgeschatzt bzw. ermittelt. Basierend auf 
der Intention des Fahrzeuginsassen werden MaBnahmen zum Uberfuhren des 
augenblicklichen Zustandes des Fahrzeuges in einen der Intention des Fahr- 
zeuginsassen angepassten Zustand des Fahrzeugs im voraus ausgelost. 
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